Function-Space Temporal Self-Distillation for Policy Optimization
函数空间时序自蒸馏策略优化
🧭 强化学习策略优化与自蒸馏
Indian Institute of Technology Kanpur
提出FSPO单策略框架，以历史分布为固定时序目标并引入特权分歧校正，实现稳定高效的策略优化
📌 工作参考价值（4 点）
- 在训练LLM-based推荐Agent或对话策略时，可采用“历史分布作为固定时序目标”的思路，不维护独立teacher模型，减少显存（论文中峰值从70GB降至56GB），适合资源受限的迭代训练。
- “特权分歧校正”可用来抑制模型生成路径中局部过高的token概率，防止在稀疏奖励下过早收敛到次优回复，类似推荐系统中对高置信度但低转化动作的惩罚。
- “可靠性自适应接地”策略：当模型自生成证据多次失败时自动加强外部参考监督（如规则、知识库），可迁移到电商Agent的工具调用或商品推荐解释中，提高事实准确性。
- “质量与覆盖感知记忆”只保留验证过的行为并改善特权演示，可用于构建在线学习中的经验回放池，优先存储高奖励且多样性的轨迹，优化长尾场景。